1
確率から尤度へ:推論の科学
MATH003Lesson 6
00:00
統計的推論は、既知のパラメータに基づいて結果を予測する(確率)という枠組みから、観測データに最も整合するパラメータを特定する(尤度)という枠組みへの移行を示します。確率密度関数 $f(x|\theta)$ は、固定された $\theta$ に対するデータ $x$ の分布を記述しますが、尤度関数 $L(\theta|x)$ は観測データを固定し、パラメータ $\theta$ を変化させることで、異なる仮説に対する相対的な支持度を測定します。

逆転原理

尤度関数はしばしば同時密度の形で表現されます。分散が固定された正規分布の場合、尤度は次のように定義されます:

$L ( \theta | x_1, \dots, x_n ) = \exp\left( -\frac{n}{2\sigma_0^2} (\bar{x} - \theta)^2 \right)$

ここでは、標本平均 $\bar{x}$ が与えられたもとでの、さまざまな $\theta$ 値の「妥当性」を評価します。この妥当性のピークを見つけるために、 定義 6.2.2対数尤度 $l(\theta | s) = \ln L(\theta | s)$ を利用します。この変換により、独立な観測値の積が和に簡略化され、複雑なモデルの最大化が計算的に可能になります。

具体例:身長調査(例 6.3.5)

データ

標準偏差 $s=2.379$ を持つ $n=30$ の身長サンプルを考えます。位置-尺度正規モデルを用いて、真の平均 $\theta$ を推定します。

推論と精度

標準誤差は $s/\sqrt{30} = 0.43434$ として計算されます。この値は尤度曲線の「鋭さ」を測ります。標準誤差が小さいほど、ピークはより狭く鋭くなり、$\theta$ に関する推論の精度が高くなることを意味します。

次元と制約

複雑な状況、たとえば 例 6.1.5(多項モデル)、論理的な依存関係を考慮する必要があります。以下のように指摘されています。「実際に2次元であることに注意してください。なぜなら、$\theta_i$ のうち任意の2つの値が分かれば、残りのパラメータの値もすぐにわかります。」この制約は、パラメータ空間 $\Omega$ を正しく定義するために不可欠です。

漸近的基礎

尤度から推論への橋渡しは中心極限定理に依存しています。$n \to \infty$ のとき、推定量の分布は収束します。特に、 例 6.5.4 ベルヌーイモデルにおいて:

$Z = \frac{\sqrt{n}(\bar{X} - \theta)}{\sqrt{\bar{X}(1 - \bar{X})}} \xrightarrow{D} N(0, 1)$

これにより、十分に大きな標本があれば、z区間やp値を使って不確実性を定量的に評価できます。

🎯 核心原則
分布フリーな統計的推論手法は、標本分布に関する最小限の仮定しか必要とせず、パラメータ族 $\{P_{\theta} : \theta \in \Omega\}$ が非常に大きい場合でも頑健です。一方、パラメトリックな尤度法は、対数尤度の曲率に依存しており、フィッシャー情報量 $nI(\theta)$ がスコア関数の分散を決定します。